基于任务超图学习互补智能体组用于缺失模态下一兴趣点推荐
🧭 多 Agent 任务超图驱动的 POI 重排 ★ 深度解读
Swinburne University of Technology · Australian Catholic University · University of Tennessee · University of Tokyo · Deakin University
用任务超图动态选择互补 Agent 组,在缺失多模态 POI 重排中带来 8.4–9.1% NDCG@20 相对提升
📌 工作参考价值(5 点)
- 可把重排拆成明确任务类型(全局状态更新、候选对比、缺失模态补偿),再用超边记录 task-target-members,既便于策略学习,也便于做成本约束和消融。
- 采用固定角色 Agent + 共享冻结 LLM + 角色级 LoRA,并用任务局部状态隔离多任务执行,适合在线 Serving 中复用同一 LLM 骨干而不互相污染。
- 广播候选级共享结果再指导下轮操作,比各 Agent 独立评分后融合或单控制器顺序取证据更有效;在复杂候选排序场景可以用类似的成员间共享证据机制。
- 两阶段训练值得复用:先监督 warm-up 学 executor 和 ranking head,再固定 executor 用 PPO 学 task/member/operation/stopping 策略,并把 computation cost 直接加入 reward,得到可解释的质量-成本曲线。
- 缺失模态处理建议显式保留 mask,区分“缺失”和“零值特征”,只利用可用证据更新候选状态,不改原始模态;这比丢弃 mask 或插补更稳健。
SPAR:通过真实世界空间感知增强工业级生成式 POI 推荐
🧭 生成式推荐 · 地理空间感知 ★ 深度解读
AMAP, Alibaba Group · The Chinese University of Hong Kong, Shenzhen
用空间内禀 SID、多粒度地理继续预训练和任务向量锚定 SFT,将真实城市空间知识注入生成式 POI 推荐
📌 工作参考价值(4 点)
- 有强地理属性的业务(到店、O2O、本地生活)不要把经纬度只当文本字段;用正弦/NeRF 式坐标编码与语义向量拼接后再 RQ-Kmeans,让 SID 的 L0 层自然按地理分区,能同时改善距离约束和冷启动。
- 多阶段 LLM 微调时,用“任务向量”保护特定能力:把领域知识 CPT 后的参数差 τ=W_MG-CPT−W_base 冻结,SFT 期间只加 LoRA 做轻量适配,可避免大规模行为数据覆盖已学知识。
- 构造多粒度结构化语料做 CPT:基础属性、两两关系(距离/方向/周边)、系统级可达性(导航/路网),比只用 item 文本更能让 LLM 内化真实场景约束,适合搜索/推荐中的上下文知识注入。
- 离线评估别只看 Hit/NDCG,加上“推荐结果到用户实时位置的距离/可达性”和冷启动分层,能暴露模型是否真正学到空间或场景约束;模块增量贡献分解也有助于定位优化优先级。
LLM 增强多图学习与对比对齐的 POI 推荐
🧭 多图对比学习 · LLM 语义增强 ★ 深度解读
Institute for Digital Transformation - University of Applied Sciences Ravensburg-Weingarten, Germany
用 LLM 生成语义图和地理图扩展 LightGCN,通过跨视图对比对齐缓解 POI 冷启动
📌 工作参考价值(4 点)
- LLM 生成 item 语义图:对 item 的多模态信息(图/文/元数据)用 LLM 生成 photo summary + keywords,再用 sentence transformer(如 all-MiniLM-L6-v2)编码后做 top-k 相似度建图。电商/本地生活可直接对商品标题、详情、图片生成摘要,构建商品语义邻接图,冷启动 item 也能获得邻居信号。
- 地理邻近性建模:用 Haversine 距离 + top-k(k=10)构建地理 item-item 图,权重取 1/(1+distance),与语义相似度权重同尺度,归一化后做 LightGCN 传播。本地生活/门店推荐可直接复用,电商可扩展到配送范围、仓储邻近等空间关系。
- 跨视图对比对齐很关键:将 collaborative embedding 与 semantic/geographic embedding 做双向 InfoNCE,仅对 batch 内正样本计算,τ=0.2,λ=0.05 作为正则化项。消融显示该对齐是主要收益来源,去掉后 Recall@20 下降 22.9%。建议在多路召回或表示融合场景中,用对比损失强制行为表示与内容/空间表示一致。
- 工程实现简单有效:所有视图共享 item embedding 矩阵,多图传播后直接 additive fusion 相加,不引入额外参数。这种轻量设计适合线上快速迭代,后续可替换为可学习加权融合。